Chiều ngày 21 tháng 11 năm 2014, Phạm Duy Hải được trao quyết định bổ nhiệm chức vụ Phó Chánh Thanh tra Viện kiểm sát nhân dân tối cao Việt Nam. Trước đó ông giữ chức vụ Trưởng phòng thuộc Viện kiểm sát nhân dân tối cao Việt Nam.[2]

Từ ngày 1 tháng 10 năm 2018, Phạm Duy Hải, Kiểm sát viên cao cấp, Phó Chánh Thanh tra VKSNDTC, được Viện trưởng Viện kiểm sát nhân dân tối cao Việt Nam giao phụ trách Thanh tra VKSNDTC tới khi kiện toàn chức vụ Chánh Thanh tra VKSNDTC.[3]

Từ ngày 1 tháng 1 năm 2019, Phạm Duy Hải, được Viện trưởng Viện kiểm sát nhân dân tối cao Việt Nam Lê Minh Trí giao Quyền Chánh Thanh tra VKSNDTC, phụ trách Thanh tra VKSNDTC tới khi nghỉ công tác hưởng chế độ hưu trí của nhà nước.[4]